Sei tiếng Na Uy là của loài cá Pollock, họ hàng gần của loài cá tuyết. Cá voi Sei xuất hiện ngoài khơi bờ biển Na Uy cùng một lúcvới loài cá này, cả hai đều ăn các sinh vật phù du.[6] Tên cụ thể trong tiếng Latinh borealis, có nghĩa là phía Bắc. Ở Thái Bình Dương, cá voi đã được gọi là "finner" là một thuật ngữ để chỉ những con cá voi lớn. Trong tiếng Nhật, cá voi được gọi là Iwashi kujira, hoặc cá voi Sardine', một cái tên ban đầu được sử dụng để gọi đối với loài cá voi Bryde bởi các tàu săn cá voi ở Nhật Bản. Sau đó, khi đánh bắt cá voi ở vùng Sanriku (phía Bắc đảo Honshu) - nơi mà có cả hai loài cá voi, cá voi Sei đã bị nhầm lẫn với loài cá voi Bryde. Bây giờ thuật ngữ này chỉ áp dụng cho các loài này.[12][13] Ngoài ra, nó đã được gọi là cá voi ít vây bởi vì nó phần nào giống như cá voi vây.[14] Nhà tự nhiên học người Mỹ Roy Chapman Andrews so sánh cá voi Sei với loài báo, bởi vì nó có thể bơi với tốc độ nhanh trên một quãng đường ngắn.[15]